初为东海王国军校，以弓马骁勇累为督伯。惠帝太安二年九月，晋河间王颙、成都王颖举兵讨长沙王乂。颙将张方入京师，太祖为士卒先，所杀伤甚众。颖别将孟超攻于辟雍，昼夜不息。太祖临垒手杀百余级，声大振。贼寻遁，太祖策马刺超于千众之中，斩其首还。

永兴元年正月，乂战不利，东海王越虑事不济，以太祖为爪牙，执之于太极殿。三月庚子，时太祖侍王妃裴氏，颖至洛狩于芒山，驰惊车架。太祖横槊而出，擒小校唐剑于万众之中，咸惊异焉。稍举孝廉，除为王国中尉司马。八月，越奉惠帝征邺，寻败奔下邳。方复薄洛，败上官巳，奄入大夏门。太祖闻领精兵三千，强弩数百，伏长兵于盾下，一时同发。贼大败，获首六百余级。虽胜，然城高众寡，太祖深虑之。于是广收溃卒，坚壁以待，方乃退还长安。惠帝之还京师，太祖迎于行在，进献酒食，执戟为导。及济河，谕太祖同乘，征材官将军，太祖固辞。二年正月，越表太祖为殿中将军，循下弘农。及越西进，豫州刺史刘乔不受命，败之于萧。九月丁未夤，太祖引兵迎越，奔袭数百里，阵斩乔子祐于谯。进趋至睢阳，及相、萧，皆破之。四战，杀伤以万数。三年六月，从弘农太守、西中郎将糜晃讨关中。幽州将祁弘等所部鲜卑大掠长安，杀万余人。太祖谏曰“京兆，重地也。鲜卑大屠，恐损司空名望。昔中军掠洛，中侯且诛乱数百，今鲜卑更贵乎？”晃从之。太祖遂缘道结垒，身进与战。俄而众军并至，贼乃奔退，斩获千余人。推锋而进，尽诛弘等于巷陛间。顷之，散积粟，还浮财，百姓莫不亲赖焉。旋拜材官将军，督牙门军屯于梁邑。

永嘉元年三月，惠帝崩，怀帝即位。五月，茌平牧帅汲桑举兵反，陷邺城，走入阳平郡。太傅、东海王越出讨。先是，太祖迎越次于许昌，自取甲仗以足，兼发于行伍，素为府士所鄙，越由是隙之。及讨桑，遂令长史刘舆自汲略邺，以太祖为舆前锋。七月壬戌，太祖复邺城，追而翼之，桑遣逯平、李乐来拒太祖。诸将言或诱伏或缓击。唯王雀儿谓太祖曰:“兵士勤练数载，唯缺阵战。以巧取胜，军必猾也。遇强兵何以处之？”太祖以为然，曰:“今朝士多觊鄙我等，稍显颓势，必遭分食，益当力战。”于是疾兵东进。丙寅，平陈兵肥乡，令乐领数千骑诣太祖。前锋常粲摧之，斩获千余。平遂率众万余阵列而出，伏乐于道左。太祖将百骑处高丘望而突阵，会遇乐等，骑众二百余，遂挺身先进，槊毙数人，挽弓射之，无不应弦而倒。数十骑夹道来逼，交抢竞进，太祖如此数三，贼乃退。将旋，太祖观平阵散，复以单骑冲之，夺牌而归。贼气大衰，乃命步卒进击，太祖御军逆战，贼犹死斗。雀儿等身先于前，粲领骑卒要破翼，王师表里奋击，贼大溃。追奔五十里，斩平、乐并六千余级，悉虏其众。东循馆陶，拔之。未几，又复清河。八月癸未，时流帅石超、王阐、楼权、楼褒、郝昌作乱于广平郡。超等，太弟颖旧将也，及颖亡，附公师藩起于冀土，藩又为兖州刺史苟晞所斩，遂亡入河朔。舆击超于邯郸，使太祖军巨鹿。既至，阐、权、褒、昌率众降。九月丙辰，以功封鲁阳侯，邑千四百户。

二年四月，青州流帅王弥入许昌，来逼京师，太祖击其后。三日之内，四败弥众，俘斩逾万。五月庚戌，弥薄洛阳，太祖还复轘辕关，军至七里涧。会凉州督护北宫纯、左卫将军何伦、骁骑将军王瑚出与弥战，遂帅骑二百冲断其军，合兵奋击，贼大溃，追至富平津，降者万余人，弥遁附汉主刘渊。十月，渊遣辅汉将军石勒统众将陷邺，横行河朔，太祖率众二万佐豫州刺史裴宪、车骑将军王堪御之。勒寻遣别部济河，宪弃军惧奔淮南，堪逡巡不前。汉平北将军刘灵、散骑侍郎王桑暴掠于共。灵，弥部将，桑，弥弟也。人皆危之，惟太祖锐气益振，袭而破之。会天大雪，贼死者相属于道。父老无不箪食壶浆，荷戈附从。进复林虑、安阳，军发邺城。勒自赵郡南来，于韩陵山与太祖相遇，王师众军并进，有车千余辆，分护两翼。军令严肃，行伍齐整。贼游骑万余，缘道随大军进止，骁骑军骑督段良、义从军督满昱击之。日向暮，勒命骑卒袭营，不利北走。乙未，比至野马冈，勒陈兵六万阵列待之。太祖军分三，皆以车为壁，间隔百余步。忽遇狂风，稍止贼至，王师弓弩齐发，一矢辄洞贯三四人。步军出击，贼兵不能当，一时溃奔，死者相积。勒顿兵复冲，以轻骑二千尾后。良领具装甲骑百人冲断其骑，精骑九百横击，如此数三，贼亡奔牙帐。良合众骑突进，斩勒大纛，步军乘之，贼众大溃，俘斩三万余。直趋邺城，即日克之，悉虏勒辎重。牙门军副督李重、部曲将陈有根追击至襄国。于时，邺城战火累年，士卒暴掠，甚为百姓所苦。独太祖祭葬露野骸骨，发还居民俘财，人皆异之。继而释俘归家，立碑纪功。因才表荐，莫不欢悦。及班师，进位县公，并前增邑四百户。

渊称帝于平阳，将亟图晋氏。三年八月，遣其子楚王聪南寇洛川，聪长驱至弘农。太祖济河断其归途，汉侍郎王桑众二万背大阳城而阵。部曲将陈有根破其前军，幢主金正乘之，继而众军奋击，贼大败，各舍仗而走，即日复大阳。先是，太祖遣别将章古、余安、段雄伏于陕之七里隘。及聪遣将军刘灵回救，古、安伏而射之，贼前锋稍溃，雄率重骑突断其阵，古、安率乡勇高鼓而进，贼大败，斩呼延宏并二千级。会部曲将陈有根至，执灵以献。聪遂假他道还平阳，太祖亦退保宜阳。十月癸卯，聪帅众四万复寇，自河内围洛阳。侍中王弥来攻太祖，郡将垣喜肉袒冲锋，弥败之，退栅五里，太祖解袍嘉之。相持凡数日，太祖别遣众御弥，亲领步骑万余还京师。十一月丙寅，营于涧水之畔。汉西昌王锐、安北将军赵固与弥率众二万东西夹击。太祖亲拒后，金正、常粲等直前渡水击锐等，破之，汉步骑溃走，士卒死者五千人。于是入洛阳，迁南中郎将，进封陈郡侯，邑五千户。

四年春，太祖之国。是时汉陈兵河上，诏屯荥阳以拒之。会幽、并、司、冀、秦、雍等六州大蝗，人相食。遂取江淮转输，安流人于豫土，至是士庶倾心。九月，京兆王如举兵反于穰，称藩于汉。太祖奉命南讨。十月戊戌，师次方城，贼将侯脱自宛营于山南。太祖以骑二百余出垒挑之，持弓矢。贼众大惊扰，尽出其骑。太祖逡巡渐却，前后射杀数人，将兵进击，贼仓皇退走。即攻其垒，拔之。追击至堵阳、博望、瓜里津，皆破之。先是，太祖遣陈有根假三垭道克宛。及脱还，有根擒脱以献。未几，侯飞虎复涅阳、穰县，金正定顺阳郡。大军进克邓、淯阳，如走襄、樊。先是，七月己卯，汉主刘渊死，其子和嗣位，和弟聪杀和而自立。聪既得如表，遂遣汉河内王粲、始安王曜及侍中王弥、安东大将军石勒帅众四万寇洛阳。初，晋廷料汉必至，朝臣御法不一。太尉王衍赴梁问策，太祖言当深沟高垒，婴城自守。衍曰：“尚书令荀藩请拒汉于外。君以为何如？”太祖对曰：“聪众多骑，我军多步。若出与战，恐失后也。”衍从之，并使荥阳太守裴纯守虎牢，邵慎守伊阙，刘善守太谷、轘辕。曜等不得进陈、颍，遂移攻宜阳。勒等攻荥阳，太祖回师拒之。十一月乙亥，击汉平北将军王桑于洧水，破之，阵执桑即槛洛京。大军进复新郑、尉氏。曜、勒军不利北走。太祖进封为郡公，食邑六千户。